Hiding Tool Latency in On-Device Cascaded Voice Agent through Speculative Execution
通过推测执行隐藏在设备端级联语音代理中的工具延迟
🧭 语音 Agent 推测执行与工具缓存
Qualcomm AI Research · KAIST AI
在流式 ASR 部分假设上预测工具调用并推测执行缓存结果，将首音频中位延迟从 5.79s 降至 4.60s
📌 工作参考价值（4 点）
- 对搜索/推荐 Agent，可在流式 query 或用户输入未完成时，先用轻量 Predictor 预测意图并预取工具结果（商品搜索、广告召回、知识库查询），LLM 确认后直接注入缓存，隐藏工具延迟。
- 规则化校验机制可借鉴：对用户自我纠正/改写场景，只注入与最终意图匹配的缓存结果，避免错误工具调用污染下游，且保留 LLM 直接调用工具能力作为兜底，保证最差延迟不超过串行基线。
- 工程实现上，Predictor 独立于 LLM、基于部分 ASR 假设或部分 query 做预测，便于回滚和验证，比直接微调 LLM 做推测调用风险更低，适合在线 A/B。
- 结果不仅降低中位延迟，还降低标准差，说明响应更可预测；这对强调 P99 延迟的电商搜索/广告 Agent 尤其有价值。